Advies van de Wetenschappelijke Commissie Wijkaanpak 



De Wetenschappelijke Commissie Wijkaanpak is in 2009 ingesteld door de Minister met als opdracht 
te adviseren over de kwaliteit en bruikbaarheid van het onderzoek voor de onderbouwing, evaluatie 
en bijstelling van het beleid met betrekking tot de wijkaanpak. De commissie brengt jaarlijks in 
september een advies uit dat betrekking heeft op de in het jaar daarvoor verschenen studies. 

Werkwijze van de Commissie 

De volgende indeling wordt gehanteerd: 

i. Verantwoording, studies waarin vooral de rechtmatigheid van uitgevoerde maatregelen 
centraal staat; 

ii. Monitors, beschrijvende studies waarin doelbereik van output- en outcomedoelstellingen 
van beleid centraal staan, maar die geen inzicht in causaliteit en effectiviteit van beogen; 

iii. Causaliteits- c.q. effectiviteittoetsing, studies van een meer verklarend karakter waarin 
onderzocht wordt wat de effecten zijn van beleid en hoe ze tot stand komen; 

iv. Ontwikkelingsonderzoeken, studies van innoverend karakter, die nieuwe aanpakken en/of 
instrumenten verkennen. 



Afhankelijk van de aard (de doelstelling) van het onderzoek is getoetst in hoeverre het rapport 
voldoet aan de criteria voor goed onderzoek en voor bruikbaarheid in de onderbouwing van beleid. 
Deze criteria zijn opgenomen in bijlage 1 evenals de samenstelling van de commissie. 



Conclusies van de Commissie 



In 2013 zijn 11 studies ontvangen waarvan er 9 zijn beoordeeld. Daarvan zijn er 7 als goed en 2 als 
als onvoldoende beoordeeld (zie tabel 1). 



Tabel 1. Aantal ontvangen en beoordeelde onderzoeksrapporten, naar categorie en oordeel 
Onderzoekscategorie Oordeel 
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De kwaliteit ten opzichte van de vorige ronde is opnieuw aantoonbaar toegenomen. Dit betreft: 

• Betere aansluiting van de indicatoren op de doelstellingen van de wijkontwikkelingsplannen. 

• Meer systematische werkwijze bij het meten van ontwikkelingen in de tijd. 

• Het interpreteren van betrouwbaarheidsmarges in geval van steekproefonderzoek. 

Het is dan ook teleurstellend om te zien dat er toch nog twee lokale onderzoeken waren die juist op 
deze onderdelen tekort schieten. Inmiddels zijn er voor het monitoren van ontwikkelingen op lokaal 
niveau veel goede voorbeelden beschikbaar en kan er worden aangesloten bij nationale 
meetinstrumenten. Er is nauwelijks meer een excuus om slecht onderzoek te presenteren. 

Wat betreft het nationale meetinstrument verdient de Outcomemonitor Wijkenaanpak van het CBS 
vermelding als standaard voor monitors op lokaal niveau. De Outcomemonitor is een zeer 
systematisch opgezet onderzoek naar de ontwikkeling van indicatoren die als uitkomsten van beleid 
zijn gedefinieerd in het beleid ten aanzien van de wijkaanpak. De kracht van de monitor ligt in een 
duidelijke nulmeting (2007) aan het begin. De situatie in de aandachtwijken wordt voor elke indicator 
gepresenteerd als verschil ten opzichte van het stedelijk gemiddelde. Vervolgens wordt voor 
opeenvolgende jaren zowel de ontwikkeling stedelijk als in de wijk(en) getoond. Dit laat zien in 
hoeverre de wijken inlopen, dan wel achterblijven bij het stedelijk gemiddelde. Omdat de 
rapportages per stad identiek zijn opgebouwd laten de ontwikkelingen tussen de steden zich goed 
vergelijken. De rapportage geeft door de gekozen systematiek een goed inzicht in de differentiële 
effecten van de crisis op vooral de sociaal-economische positie van de wijken. 

Het aandeel van en de belangstelling voor effectstudies is groter dan in voorgaande jaren. Een 
actueel voorbeeld van een dergelijke effectstudie is "The power of a bad example - A field 
experiment in household garbage disposal" van R. Dur en B. Vollaard van de Universiteit Tilburg. 
Dit is een veldexperiment in de traditie van de broken windows benadering. Hoe eerder je de 
rommel aanpakt, hoe kleiner de kans op verloedering. Maar alles uit handen nemen, kan de burger 
ook lui maken. Wat gebeurt er als je daar een tijdje mee stopt? In vergelijking met controlesituaties 
lijkt minder schoonmaken inderdaad te leiden tot meer vervuiling. Maar er zijn lichte indicaties dat 
mensen ook weer zelf initiatieven nemen. Helaas kan het onderzoek nog niet de vraag 
beantwoorden waar de kritische grens ligt waarbij bewoners zich gedwongen voelen zelf in actie te 
komen. 

De commissie vraagt in het bijzonder aandacht voor drie onderling samenhangende onderzoeken in 
de wijk Spangen. Het betreft 

Effectenanalyse 10 jaar investeren in Spangen, Jochum Deuten advies & onderzoek, 2012 

MKBA Spangen ex-post - Maatschappelijke baten van 10 jaar investeren, LPBL: V Larsen, Atlas voor 

Gemeenten: G Marlet, 2012 

Scoren in Spangen - Bijlage bij het hoofdrapport: MKBA Spangen ex-post - Maatschappelijke baten 
van tien jaar investeren, Atlas voor Gemeenten: G Marlet en R Ponds, 2012 

Het eerste onderzoek geeft een goed beeld van de resultaten van het multidimensionele beleid dat 
het afgelopen decennium in en rond de Rotterdamse wijk Spangen is gevoerd. Het geeft inzicht 
achteraf in de prioriteiten van degenen die in Spangen zijn gebleven en van de herformulering van 
papieren beleidsdoelstellingen in voor de bewoners aansprekende doelen. Door de bewoners zelf 
aan het woord te laten in het kader van de evaluatie ontstaat goed zicht op de successen en de 
tekortkomingen van het gevoerde beleid en krijgt de lezer eveneens goed zicht op de grote betekenis 
van toevalligheden en onverwachte samenloop van omstandigheden. 

Het tweede onderzoek betreft een maatschappelijke kosten/baten analyse waarin wordt nagegaan 
of de investeringen in de wijkaanpak in Spangen worden gerechtvaardigd door de besparing in 
kosten en stijging in baten. Verder laat het rapport de toedeling van kosten en baten per actor zien. 
Er wordt gebruik gemaakt van een gevestigde techniek. Innovatief is het gebruik van effectmetingen 



in plaats van referentie getallen. Dit komt tegemoet aan een belangrijk bezwaar tegen de bestaande 
MKBA waarbij de kosten veelal eenduidiger te meten zijn dan de baten. Wel plaats de commissie 
kanttekeningen bij het realiteitsgehalte van de gevolgde methode om baten direct af te meten aan 
de euro's waardestijging van het woonvastgoed. 

Het derde onderzoek is een studie waarin aan de hand van multiple regressieanalyses de verandering 
in een aantal indicatoren (veiligheid, woningprijzen per vierkante meter en arbeidsdeelname) voor 
alle postcode gebieden in Nederland worden geanalyseerd. Door het opnemen van een dummy 
variabele Spangen kan worden getoetst in hoeverre het verloop van de betreffende indicator in 
Spangen significant afwijkt van de rest van Nederland. Ook is er een analyse waarin specifieke 
ingrepen binnen de wijk (op basis van 6-cijfer Postcode gebiedjes) worden gerelateerd aan de 
mogelijke effecten daarvan. De studie is zeer zorgvuldig aangepakt en is technisch geavanceerd. Een 
voorbeeld daarvan is het introduceren van fixed effect modellen om te corrigeren voor niet 
geobserveerde heterogeniteit op het niveau van kleine deelgebieden. De kans dat hiermee tot 
daadwerkelijke effectmeting wordt gekomen is hiermee aanzienlijk vergroot. 

De commissie is van mening dat kennisname van dit onderzoek door anderen zinvol is vanwege: 

1. De combinatie van de kwalitatieve en de kwantitatieve invalshoek waardoor een veel 
completer beeld onstaat van de ingrepen in de wijk en de resulaten die deze hebben 
opgeleverd. 

2. De periode van tien jaar waarover de analyse zich uitstrekt. Metingen op de korte termijn zijn 
meer onderhevig aan (conjuncturele) fluctuaties en beleid is vaak een kwestie van lange 
adem. 

3. Voor het kwantitatieve deel het gebruik van geografische gegevens op zeer gedetailleerd 
schaalniveau waardoor ingrepen niet alleen in de tijd , maar ook in de ruimte kunnen worden 
geplaatst en de plausibiliteit van de effectmeting sterk toeneemt. 

Tot slot wil de Commissie één aanbeveling van vorig jaar herhalen: 

• De hier genoemde en later verschenen effectstudies verdienen een veel bredere en vooral 
diepgaander bespreking met onderzoekers die werkzaam zijn voor zowel de lokale als 
nationale overheid. De commissie beveelt aan een studiedag te organiseren, bijvoorbeeld in 
samenspraak met Platform 31, waarin de theoretische (causaliteit), methodische 
(experimentele opzet), praktische (data en software) en organisatorische (ondersteuning) 
aspecten aan de orde komen. 



Bijlage 1 



Criteria van de Wetenschappelijke Commissie wijkenaanpakbij de 
beoordeling van studies 

De beoordeling van onderzoeksrapportages vindt plaats aan de hand van de hieronder genoemde 
criteria: 

1. Probleemstelling 

a. zijn de doel- en probleemstelling van het onderzoek helder geformuleerd? 

b. wat is de (beleidsmatige) relevantie van het onderzoek voor de wijkaanpak? 

c. volgen conclusies logisch uit het onderzoek? 

d. hoe verhouden de aanbevelingen zich tot de conclusies? 

2. Inbedding 

a. is bestaande kennis voldoende verwerkt in het onderzoek? 

b. is er een fundering in theorie? 

3. Methodisch-technische aspecten 

a. is de conceptualisering in orde? 

b. is de operationalisering in orde? 

c. is er aandacht voor causaliteit (aan alle voorwaarden voldaan)? 

d. is het onderzoeksdesign adequaat (vb cross-sectie vs. longitudinaal, experimentele 
opzet of niet)? 

e. is de kwaliteit van de gebruikte data in orde, is er aandacht voor verstorende 
variabelen? 

f. wat is de generaliseerbaarheid van de resultaten? 

4. Meta-analyse 

a. welke vormen van onderzoek worden veel/weinig gedaan (descriptie, analyse, 
'black-box' geopend)? 

De commissie beoordeelt deze criteria niet aan de hand van 'golden rules', maar op basis van 'face- 
value'. 



Leden van de Wetenschappelijke Commissie Wijkenaanpak 



De Commissie Wijkenaanpak bestaat uit de volgende leden: 








Prof. dr. Pieter Hooimeijer, 
voorzitter 


Wonen 


Universiteit Utrecht 


Prof. dr. Sjoerd Karsten 


Leren & Opgroeien 


Universiteit van Amsterdam 


Prof. dr. Joop Schippers 


Werken 


Universiteit Utrecht 


Prof. dr. Justus Veenman 


Integreren 


Erasmus Universiteit Rotterdam 


Prof. dr. Hans Boutellier 


Veiligheid 


Vrije Universiteit Amsterdam 


Prof. dr. Karien Stronks 


Gezondheid 


Universiteit van Amsterdam/AMC 



